Comparative Approaches to Agent Retrieval over Large Skill Libraries
大型技能库的智能体检索：知识图谱为何未能超越强排名器
🧭 Agent 技能检索与知识图谱 ★ 深度解读
Praetorian
在技能检索中，知识图谱因边候选源于同一嵌入邻域而无法扩展排名器的召回边界
📌 工作参考价值（4 点）
- 优先构建强混合排名器：在技能检索系统中，先投入资源做好 BM25 + 语义嵌入的融合排名器，而不是急于构造知识图谱。混合排名器本身能覆盖词汇和语义差距，成本低且有效。
- 评估集要避免作者回声：由阅读过技能库的作者编写的查询集会因术语重复而严重高估检索准确率，实验中关键词排名器被夸大 44 个百分点。评估时应使用非回声、真实场景的查询集。
- 知识图谱的边源不要与排名器共享：若要使用知识图谱辅助检索，其候选边生成必须源自排名器未使用的信号（如共现记录、跨模态数据），否则图谱仅能重排已有结果，无法增加新召回能力。
- 关注方向性关系的准确性：图边中 requires、precedes 等方向性关系的错误率可能高达 17–33%，若直接用于指导下一步动作，可能产生严重误导，需在落地前充分审计。